Sau khi Đức xâm lược Ba Lan, năm 1940, ông được gọi về để đảm nhiệm chức vụ Trưởng phòng 3 [3] Bộ tham mưu Sư đoàn 4 Bộ binh. Ngày 10 tháng 5 năm 1940, Đức tấn công Pháp. Ngày 1 tháng 6, ông bị quân Đức bắt giữ làm tù binh nhưng trốn thoát được chỉ 2 tuần sau đó. Sau khi chính phủ Pháp đầu hàng, ông đưa cả gia đình đến London và gia nhập lực lượng "Nước Pháp tự do" (France libre) của Charles de Gaulle vừa thành lập.

De Gaulle đã phong cho ông cấp bậc Thiếu tá và cử sang Cameroon với chức vụ Tổng Cao ủy (Commissaire général) vào ngày 28 tháng 8, để thuyết phục các lực lượng quân sự còn lại của Pháp tại thuộc địa châu Phi gia nhập lực lượng "Pháp tự do". Thời gian này, ông sử dụng bí danh François Leclerc, một cái tên khá phổ biến ở vùng quê hương ông.

Những hoạt động không mệt mỏi của ông đã đem lại kết quả rất lớn trong một thời gian ngắn cho lực lượng "Pháp tự do". Các lực lượng quân sự còn lại của Pháp tại Cameroon, Tchad, Congo và sau đó là Gabon lần lượng gia nhập "Pháp tự do", giúp cho lực lượng của de Gaulle có được một vùng lãnh thổ và các cơ sở chiến lược quan trọng. Với thành tích này, ông được de Gaulle phong vượt cấp lên quân hàm Đại tá vào ngày 25 tháng 11 năm 1940 và giao cho ông chỉ huy Trung đoàn Sénégalais tại Tchad chống lại quân Trục. Ông đồng thời cũng tổ chức các nhóm hoạt động du kích chống quân Trục hoạt động khắp vùng Tây Phi, từ Libya đến Tunisia, được nhiều người biết đến với tên gọi Force L. Ngày 10 tháng 8 năm 1941, ông được thăng quân hàm Chuẩn tướng (Général de brigade).

Tháng 11 năm 1942, quân Anh-Mỹ đổ bộ lên Bắc Phi thuộc Pháp. Các lực lượng quân sự của Pháp được tổ chức thành Tập đoàn quân châu Phi tham chiến cạnh quân Đồng minh. Ngày 25 tháng 5 năm 1943, ông được thăng quân hàm Thiếu tướng (Général de division). Tháng 6 năm 1943, các đơn vị dưới quyền ông được tổ chức lại thành Sư đoàn Khinh binh số 2 (2e D.F.L.). Sau những chiến thắng của quân Đồng minh tại Bắc Phi năm 1943, các đơn vị Pháp được tái tổ chức và trang bị vũ khí Mỹ để tham gia các chiến dịch tại châu Âu của quân Đồng minh năm sau. Sư đoàn khinh binh số 2 của Leclerc được trang bị tăng cường để trở thành Sư đoàn Thiết giáp số 2 (2e Division Blindée, 2e DB). Sau khi quân đội Đồng Minh đổ bộ vào nước Pháp tháng 6-8 năm 1944, Sư đoàn Thiết giáp số 2 đã góp phần bao vây, tiêu diệt lực lượng Đức tại Falaise và giải phóng Paris. Tiếp theo đó, quân của Leclerc được không quân Mỹ chi viện đã đánh bại 1 lữ đoàn thiết giáp Đức trong trận Dompaire ở Lorraine. Tháng 11 năm 1944, Leclerc tiến công Strasbourg (thủ phủ Alsace) và nhanh chóng chiếm lại thành phố từ tay quân Đức. Đến tháng 4 năm 1945, sư đoàn Leclerc vượt sông Rhein và tham gia truy kích quân Đức ở Bayern.

Năm 1945, ông sử dụng bí danh trong chiến đấu là Jacques-Philippe Leclerc.